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(54) Erkennung einer in buchstabierter Form vorliegenden Sprachausserungseingabe 



(57) Die Erfindung betrlfft ein Verfahren zur Erken- 
nung einer in buchstabierter Form vorliegenden 
SprachauBerungseingabe (s) mit einer ersten Verarbei- 
tungsstufe, in der mittels einer auf Hidden Markov 
Modellen basierenden Buchstaben-Spracherkennungs- 
einheit (2) eine korrespondierende Buchstabenfolge (r) 
geschatzt wird, und mit einer zweiten Verarbeitungs- 
stufe (3), in der unter Verwendung eines statistischen 
Buchstabenfolgemodells (4) und eines statistischen 
Modells (5) fur die Spracherkennungseinheit (2) das 
von der ersten Verarbe'rtungsstufe gelieferte Schatzer- 
gebnis (r) nachverarbeitet wird, wobei bei der Nachver- 
arbeitung die Methode der dynamische Programmie- 
rung eingesetzt wird. 

Um robuste und effiziente Spracherkennungspro- 
zeduren fur die Anwendung von Sprachsignalen zur 
Systemsteuerung, wird vorgeschlagen, dass die der 
dynamischen Programmierung zugrundeliegende Git- 
terstruktur, deren Knotenpunkte zur Zuordnung zu 
akkumulierten Wahrscheinlichkeitswerten vorgesehen 
sind, in eine Baumstruktur umgesetzt wird und dass bei 
der Suche nach einem optimalen Baumpfad der A*- 
Algorithmus eingesetzt wird. 

Es wird auch ein Verfahren vorgeschlagen, beim 
dem im Rahmen einer Sprachsteuerung eine Eingabe 
eines als Steuersignal dienenden ganzen Wortes und 
eine Eingabe wenigstens eines Teils dieses Wortes in 



buchstabierter Form vorgesehen ist, wobei das Ergeb- 
nis der Buchstaben-Spracherkennung im Rahmen der 
Wort-Spracherkennung verwendet wird. 



I 



FIG. 4 



Printed by Xerox (UK) Business Services 
2.16.7 (HRS)/3.6 



NSDOCID: <EP 10854 99A2_I_> 



rj 



EP 1 085 499 A2 

Beschrelbung 

[0001] Die Erfindung betrifft ein Verfahren zur Erkennung einer in buchstabierter Form vorliegenden SprachauBe- 
rungseingabe mit einer ersten Verarbeitungsstufe, in der mittels einer auf Hidden Markov Modellen basierenden Buch- 
5 staben-Spracherkennungseinheit eine korrespondierende Buchstabenfoige geschStzt wird, und mit einer zweiten 
Verarbeitungsstufe, in der unter Verwendung eines aus dem Vokabular abgeleiteten statistischen Buchstabenfolgemo- 
dells und eines statistischen Modells fur die Spracherkennungseinheit das von der ersten Verarbeitungsstufe gelieferte 
Schatzergebnis nachverarbeitet wird, wobei bei der Nach verarbeitung die Methode der dynamischen Programmierung 
eingesetzt wird. 

jo [0002] Ein solches Verfahren ist beispielsweise aus der US 5,799,065 im Rahmen der automatischen Herstellung 
von Telefonverbindungen durch Spracheingaben bekannt. Ein Anrufer gibt dabei nach entsprechender Aufforderung 
den Namen des gewunschten anzurufenden anderen Teilnehmers in kontinuieriich buchstabierter Form ein. Die Ein- 
gabe wird einer auf HMM (Hidden Markov Model) verwendenden Spracherkennungseinheit weiterverarbeitet, wobei 
auch eine auf Buchstaben-n-Grammen beruhende Buchstabengrammatik zum Einsatz kommt. Es werden N beste 

75 Worthypothesen ermittelt, die nach der Methode des dynamischen Programmierens (DP) weiterverarbeitet werden, 
wobei die ermittelten Hypothesen mit dem Inhalt eines Namenslexikons verglichen werden. Die von der DP-Einheit 
gelieferten N besten Worthypothesen werden ais dynamische Grammatik verwendet, die von einer weiteren Spracher- 
kennungseinheit verwendet wird, die aus den von der DP-Einheit gelieferten Worthypothesen eine als - dem eingege- 
benen Namen entsprechendes - Erkennungsergebnis auswahlt. 

20 [0003] Bei Navigationssystemen fur Landkraftfahrzeuge ist es ebenfalls bekannt, Eingaben mittels SprachauGe- 
rungen zu tatigen. Auf diese Weise werden beispielsweise Ortsnamen als Zielorte eingegeben. Um die Zuverlassigkeit 
der Sprach erkennung zu verbessern, ist neben einer Wort-Spracherkennung, bei der eine Eingabe von naturlich 
gesprochenen Worten vorgesehen, auBerdem eine Buchstaben- Sprach erkennung vorgesehen, die zur Erkennung 
buchstabierter Spracheingaben dient 

25 [0004] Der Erfindung liegt nun die Aufgabe zugrunde, robuste und effiziente Spracherkennungsprozeduren fur die 
Anwendung von Sprachsignalen zur Systemsteuerung unter Anwendung einer Buchstaben-Spracherkennung anzuge- 
ben. 

[0005] Die Aufgabe wird dadurch gelost, dass die der dynamischen Programmierung zugrundeliegende Gitter- 
struktur, deren Knotenpunkte zur Zuordnung zu akkumulierten Wahrscheinlichkeitswerten vorgesehen sind, in eine 

30 Baumstruktur umgesetzt wird und dass bei der Suche nach einem optimalen Baumpfad der A*-Algorithmus eingesetzt 
wird. Dieser Ansatz fuhrt zu einer beschleunigten Buchstabenspracherkennung mit verringertem Speicherplatzbedarf. 
[0006] In einer Ausgestaltung ist vorgesehen, dass suboptimale Baumpfade entsprechend N bester Schatzungen 
fur die SprachauBerungseingabe mit N>1 ermittelt werden. Damit stehen Erkennungsalternativen fur eine Weiterverar- 
beitung zur Verfugung, so dass ein Fehler bei der Ermittiung des optimalen Baumpfades in nachfolgenden Verarbei- 

35 tungsschritten unter Zuhilfenahme der suboptimalen Erkennungsergebnisse leichter korrigierbar ist. 

[0007] Eine weitere Ersparnis an Rechenzeit wird dadurch erreicht, dass bei der Suche nach einem optimalen 
Baumpfad diejenigen Baumpfade, die schon zu Beginn der Suche eine gegenuber anderen Baumpfaden eine kleine 
Wahrscheinlichkeit aufweisen, vorrangig nicht mehr weiterverfolgt werden. 

[0008] Es wird weiterhin vorgeschlagen, dass die erste Verarbeitungsstufe mittels eines ersten ICs und die zweite 
40 Verarbeitungsstufe mittels eines zweiten ICs durchgefuhrt wird. Der erste IC (integriete Schaltkreis) ist vorzugsweise 
ein speziell fur Spracherkennungsprozeduren programmierte digitaler Sign alp rozessor. Der zweite IC kann insbesond- 
ere ein Controller-Baustein sein, der auch zur Realisierung anderer Systemfunktionen eingesetzt wird. 
[0009] Die Erfindung betrifft auch ein Verfahren zur Systemsteuerung mittels Sprachsignalen, bei dem 

45 - eine Eingabe eines als Steuersignal dienenden ganzen Wortes und eine Eingabe wenigstens eines Teils dieses 
Wortes in buchstabierter Form vorgesehen ist, 

eine Wort-Spracherkennung zur Erkennung des eingegebenen ganzen Wortes vorgesehen ist, 
eine Buchstaben-Spracherkennung, insbesondere wie oben beschrieben, zur Erkennung des eingegebenen buch- 
stabierten Teils des ganzen Wortes vorgesehen ist und 
so - bei dem mit Hilfe des Erkennungsergebnisses der Buchstaben-Spracherkennung eine Einschrankung eines der 
Wort-Spracherkennung zugeordneten Vokabulars durchgefuhrt wird. 

[0010] Ein solches Verfahren fuhrt auch furschwierige Rahmenbedingungen wie beispielsweise einem hohen Stor- 
gerauschpegel in Kraftfahrzeugen Oder undeutlicher Sprechweise eines Benutzers zu einer zuverl&ssigen Sprach- 
55 steuerung. 

[0011] Die Erfindung betrifft auch ein sprach gesteuertes elektrisches Gerat, insbesondere ein Navigationssystem 

fur Landkraftfahrzeuge, mit Komponenten zur Durchfuhrung eines der oben beschriebenen Verfahren. 

[0012] Ausfuhrungsbeispiele der Erfindung werden nachfolgend unter anderem anhand der Zeichnungen nSher 
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erlautert. Es zeigen: 

Fig. 1 eine Baumstruktur zur Erlauterung zum statistischen Model! einer Buchstabenfolge. 
Fig. 2 ein Beispiel fur einen Gitterpfad, 

Fig. 3 eine Baumstruktur, deren Baumknoten Spalten eines DP-Gitters entsprechen, 
Fig. 4 ein Blockschaltbild eines Systems zur Erkennung buchstabierter SprachauBerungen und 
Fig. 5 ein Blockschaltbild eines Systems mit Sprachsteuerung durch Eingabe von Worten und buchstabierter 
sprachlicher AuBerungen. 

[0013] Eine bevorzugte Anwendung der Erfindung ist ein Navigationssystem fur Kraftfahrzeuge mit einer Sprach- 
steuerung. Die automatische Sprach erkennung fur die Sprachsteuerung ist hier schwierig, da das zu erkennende 
Vokabular (z. B. einige zehntausend Stadtenamen) umfangreich ist und die akustischen Bedingungen in Kraftfahrzeu- 
gen aufgrund zahlreicher auftretender StSrgerausche als ungunstig beurteilt werden miissen. Weiterhin ist davon aus- 
zugehen, dass die verfugbare Hardware in Navigationssystemen in Anbetracht der Komplexitat von 
Spracherkennungsprozeduren nur eine sehr beschrankte Verarbeitungskapazitat und einen relativ kleinen Arbeitsspei- 
cher aufweist. Die Erfindung ist allerdings nicht auf die Anwendung in Navigationssystemen fur Kraftfahrzeuge 
beschrankt, sondern in alien Gerate mit Sprachsteuerung und ahnlich gelagerten Randbedingungen geeignet. 
[0014] Beim vorliegenden Navigationssystem wird ein Benutzer im Spracherkennungsmodus zur Spracheingabe 
aufgefordert, z. B. zur Eingabe eines Stadtenamens, und zwar jeweils sowohl zur Eingabe durch Sprechen eines gan- 
zen Wortes als auch zusatzlich zur Eingabe durch (kontinuierliches) Buchstabieren wenigstens eines Teils des einge- 
gebenen Wortes. Es wird in zwei ersten Verarbeitungsstufen sowohl eine auf dem vorgegebenen Vokabular basierende 
Wort-Spracherkennung als auch eine Buchstaben-Spracherkennung durchgefuhrt. Bei der Buchstaben-Spracherken- 
nung wird dem Benutzer die Anzahl einzugebender Buchstaben pro Wort nicht vorgegeben. Mit dem Spracherken- 
nungsergebnis bezuglich der eingegebenen Einzelbuchstaben konnen die Worte des vorgegebenen Vokabulars 
ermittelt werden, die als Wort-Spracherkennunsergebnis in Frage kommen. Basierend auf dem sich hieraus ergeben- 
den eingeschrankten Vokabular wird in einer we'rteren Verarbertungsstufe fur das eingegebene Wort emeut eine Wort- 
Spracherkennung durchgefuhrt. 

[0015] Im folgenden soli die Buchstaben-Spracherkennung naher erlautert werden. Bei dieser ist regelmaBig, ins- 
besondere in Umgebungen mit erheblichen Storgerauschen wie innerhalb von Kraftfahrzeugen, mit hohen Fehlerraten 
zu rechnen. Einer Verbesserung dieser Fehlerrate durch Berucksichtigung des Vokabulars bei der akustischen Suche 
des Buchstaben-Spracherkenners st6Bt auf das Problem, dass QbJiche Spracherkenner-ICs nicht genugend Speicher 
zur Speicherung deraus einem groBen Vokabular resultierenden Datenmengen enthalten. Bei dem vorliegenden Navi- 
gationssystem wird aus diesem Grund die Buchstaben-Spracherkennung in zwei voneinander unabhangigen Verarbei- 
tungsstufen durchgefuhrt. In der ersten Verarbertungsstufe werden die eingegebenen Buchstaben mittels eines 
ublichen Buchstaben-Spracherkenners ohne Berucksichtigung eines Vokabulars durchgefuhrt. Diese Verarbertungs- 
stufe wird mittels eines speziell hierfurausgelegten und programmierten Spracherkenner-ICs durchgefuhrt. In der zwei- 
ten Verarbertungsstufe wird eine Nachverarbertung durchgefuhrt. Diese wird mittels des Controllers durchgefuhrt, der 
zur Umsetzung der anderen Systemfunktionen (d.h. hier der speziellen Navigationsfunktionen) dient und der auf aus- 
reichend Speicherplatz zugreifen kann. 

[0016] Fur die Nachverarbertung stehen zusatzliche Informationen bezuglich verschiedener moglicher Buchsta- 
benfolgen zur Verfugung, insbesondere - wie im vorliegenden Ausfuhrungsbeispiel - eine Liste mit zulassigen Buchsta- 
benfolgen, d.h. Buchstabenfolgen, mit denen jeweils mindestens ein Wort des Vokabulars beginnt, und statististische 
Informationen bezuglich solcher Buchstabenfolgen, z.B. bedingte Wahrscheinlichkeiten (wie beispielsweise die Wahr- 
scheinlichkeit, dass beim dritten Buchstaben C eines Wortes die beiden ersten Buchstaben jeweils ein A waren). Als 
weitere die Fehlerrate reduzierende statistische Informationen kommen auch Wahrscheinlichkeiten fur Verwechslun- 
gen zwischen zwei Buchstaben (N und M sind z. B. einander ahnlich und haben deshalb eine hohe Verwechslungs- 
wahrscheinlichkeit) Oder Wahrscheinlichkeiten bzgl. eines versehentlichen EinfQgens Oder Auslassens eines 
Buchstabens in Betracht 

[0017] Das der Nachverarbertung zugrundeliegende Problem lasst sich wie folgt formulieren: 
[0018] Gegeben sind: 

ein statistisches Modell des Buchstaben-Spracherkenners (d.h. Wahrscheinlichkeiten von Erkennungsfehlern); 
ein statistisches Modell der gesprochenen Buchstabenfolge und 
eine Folge erkanntet Buchstaben. 

[0019] Gesuchtist 

Die Buchstabenfolge mit dergroBten Wahrscheinlichkeit, die gesprochene 
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Buchstabenfolge zu sein. 
[0020] Im folgenden wird Z als Symbol fur eine Buchstabenenge bezeichnet 

[0021] Eine gesprochene (und in den Spracherkenner eingegebene) Buchstabenfolge s der Lange n (mit Buchsta- 
5 ben Sj) und eine erkannte Buchstabenfolge r der Lange m (mit Buchstaben r;) werden beschrieben durch: 

s = (s,, s 2 , s n ) mitSj e Z 

r = (r 1t r 2 , r m )mitr j e Z 

w 

[0022] Die Buchstabenfolgen sind zur Unterscheidung gegenuber Einzelbuchstaben unterstrichen dargestellt. 
Unterschiedliche Langen n und m konnen sich dadurch ergeben, dass der verwendete Spracherkenner fehlerhaft 
Buchstaben ins Erkennungsergebnis einfugt oder auch fehlerhaft Buchstaben weglasst. 

[0023] Gesucht ist nun die Buchstabenfolge s, bei der bei gegebener Buchstabenfolge r die Wahrscheinlichkeit 

15 

p, s , r v_ P(rls)P(s) 
P(s I rt- p(r) 

20 maximal ist. Da das Wahrscheinlichke'rtsmaximum von P(r) unabhangig ist, ist nach der Buchstabenfolge s zu suchen, 
die den Ausdruck 

P(r i §) P(s) 

25 maximiert. Der Wahrscheinlichkeitsterm P(r I s) beschreibt die Spracherkennereigenschaften (durch die Wahrschein- 
lichkeit fur eine Folge erkannter Buchstaben r gegeben eine Folge gesprochener Buchstaben s), der Wahrscheinlich- 
keitsterm P(s) dagegen die Auftrittswahrscheinlichkeiten von gesprochenen Buchstabenfolgen s (entsprechend einem 
Sprachmodell, das berucksichtigt, dass nicht alle Buchstabenkombinationen gleich wahrscheinlich sind). 
[0024] Zur Berechnung des Maximums des Ausdrucks P(r I s) P(s) soil ein effizienter Algorithmus angegeben wer- 

30 den. Hierzu werden vereinfachende Annahmen bezuglich der beiden Wahrscheinlichkeitsfunktionen P(r I s) und P(s) 
gemacht, urn so geeignete statistische Modelle fur den Spracherkenner und die gesprochene Buchstabenfolge zu 
erhalten. Im folgenden wird das statistische Modell fur P(r I s) mit P R (r. I s) und das statistische Modell fur P(s) mit P s (§) 
bezeichnet. 

[0025] Als (aus dem vorgegebenen Vokabular abgeleitetes) statistisches Modell fur die gesprochene Buchsta- 
35 benfolge wird nun der Ausdruck 

P s ( s i+1 |S 1 s i) 

angesetzt, der die Wahrscheinlichkeit dafur angibt, dass auf eine Folge von i gesprochenen Buchstaben s 1t ..., Sj als 
40 nachster gesprochener Buchstabe s i+1 folgt. Die Wahrscheinlichkeit, dass sprachliche AuBerung nach den Buchstaben 
s 1t ..., Sj endet, ist gegeben durch 



P S ($ |S 1 s i)= 1 - £ P S ( s i + i ,s i-- s i). 



wobei $ das Ende einer Buchstabenfolge bezeichnet. Derartige Wahrscheinlichkeiten konnen leicht aus einem gege- 
benen Vokabular und a priori Wahrscheinlichkeiten fur die Wdrter des Vokabulars geschatzt werden. Dementspre- 
so chend lasst sich die Wahrscheinlichkeit fur eine Folge gesprochener Buchstaben s = (s 1 , s 2 s n ) angeben durch 

P S (S) = P S ( S 1 1 # ) P S( S 2 1 S 1> - P s( s n 1 »1. — s n-1> P s($ ls V — s J • 

wobei das Zeichen # den Beginn einer Buchstabenfolge bezeichnet. Weiterhin wird ein begrenztes Vokabular V mit 

55 

V = {slP s (s)*0} 

vorausgesetzt. Fur den Fall, dass eine Buchstabenfolge s Element des Vokabulazs V ist, ist auch jedes Prafix von s 



4 



iNSDOCID: <EP 1085499A2 1 > 



EP 1 085 499 A2 



(d.h. eine Folge von einem oder mehreren aufeinanderfolgenden Buchstaben, mit denen die Buchstabenfolge s 
beginnt) Element des Vokabulars V. Dadurch kann der Benutzer eine beiiebig lange Anfangsbuchstabenkette des zu 
buchstabierenden Wortes sprechen und muss das Wort nicht vollstandig buchstabieren. Durch entsprechende Wahl 
von P s kann a-priori-Wissen iiber die Wahrscheiniichkeit ausgenutzt werden, wie viele Buchstaben ein Benutzer vor- 

5 aussichtiich bei der Eingabe im Buchstabiermodus sprechen wird. 

[0026] Die verschiedenen Wahrscheinlichkeiten P s eines Vokabulars V lassen sich mit Hilfe einer Baumstruktur auf 
einfache Weise darsteilen. Dabei wird einer Baumkante jeweils ein Buchstabe und der zugehdrige Wahrscheinlichkeits- 
wert zugeordnet. Jeder gesprochenen Buchstabenfolge entspricht dann ein Baumknoten, wobei sich die Wahrschein- 
iichkeit der Buchstabenfolge aus dem Produkt derjenigen Wahrscheinlichkeiten ergibt, die den von derBaumwurzel bis 

10 zum betreffenden Baumknoten fuhrenden Baumkanten zugeordnet sind. 

[0027] Ein Beispief fur eine derartige Baumstruktur zeigt Fig. 1. Hier sind zur Bildung des Vokabulars vereinfacht 
als mogliche Buchstaben A, B, C, D und E vorausgesetzt, die jeweils zusammen mit der zugeh6rigen Auftrittswahr- 
scheinlichkeit einer Baumkante zugeordnet sind. Dementsprechend ergeben sich fur die Buchstabenfolgen AB, AC 
undDE die Wahrscheinlichkeitswerte P S (AB)=0,18 , P S (AC)=0,06 und P S (DE)=0,56 als Produkt der den einzelnen 

15 Buchstaben der Buchstabenfolgen jeweils zugeordneten Wahrscheinlichkeitswerten. Unter der Bedingung, dass die 
Wahrscheiniichkeit des Erreichens eines Endes $ einer Buchstabenfolge schon vor dem Durchlauf eines ganzen 
Baumpfades mit P s ($)= 0,2 angesetzt wird, ergeben sich weiterhin die Wahrscheinlichkeitswerte P S (A)=0,06 und 
Ps(D)=0,14 durch Muttiplikation von Ps($) mit den den Buchstaben A und D bzw. den zugehorigen Baumkanten zuge- 
ordneten Wahrscheinlichkeiten. Die Summe der Wahrscheinlichkeitswerte P s ergibt sich zu Eins. 

20 [0028] Um ein einfaches statistisches Modell fur den Buchstaben-Spracherkenner (genauer gesagt: fur die 
Erkennungsfehler des Buchstaben-Spracherkenners) zu erhalten, wird vorausgesetzt, dass die gesprochenen Buch- 
staben unkorreliert sind und lediglich die Korrelationen zwischen einem erkannten und einem gesprochenen Buchsta- 
ben berucksichtigt werden. Das statistische Modell fur den Buchstaben-Spracherkenner liefert die Wahrscheiniichkeit, 
dass ein Buchstabe r erkannt und ein Buchstabe s gesprochen wurde (mit r, s € Z). Weiterhin werden bei diesem 

25 Modell Wahrscheinlichkeiten fur Einfugungen von Buchstaben r ohhe korrespondierenden gesprochenen Buchstaben 
s und Wahrscheinlichkeiten fur Loschungen von Buchstaben (kein erkannter Buchstabe r fur den Fall eines gesproche- 
nen Buchstabens s) angesetzt. Zur Beschreibung dieser Falle wird ein virtueller Buchstabe e £ Z eingefuhrt, der 
sowohl zur Bezeichnung eines nicht gesprochenen als auch zur Bezeichnung eines nicht erkannten Buchstabens dient. 
DemgemaB ergibt sich fur das statistische Modell des Buchstaben-Spracherkenners zu 

30 

P R (r, s) mit r, s € Z u {e} . 

[0029] Diese Verbund-Wahrscheinlichkeiten werden als Elemente einer Matrix ("confusion matrix") aufgefasst, 
wobei die verschiedenen Buchstaben r und s den einzelnen Zeilen bzw. Spalten der Matrix bezeichnen. Ausgehend 
35 von dieser als gegeben vorausgesetzten und in gespeicherter Form vorliegenden Matrix werden bedingte Wahrschein- 
lichkeiten P(r I s) fur eine erkannte Buchstabenfolge r und eine gesprochene Buchstabenfolge s berechnet, was nach- 
stehend noch naher erlautert wird. 

[0030] Um mogliche zeitliche Verlaufe von Zuordnungen von Buchstabenfolgen r und s darzustellen, wird ein zwei- 
dimensionales Gitter benutzt, das in vertikaler Richtung m+1 Punkte und in horizontaler Richtung n+1 Punkte aufweist, 
40 die jeweils mit einem rj und einem Sj bezeichnet sind. Die 0-te Zeile und 0-te Spalte bleiben dabei unbezeichnet. Der 
zeitliche Verlauf einer Zuordnung einer bestimmten Buchstabenfolge r zu einer bestimmten Buchstabenfolge s ent- 
spricht einem Pfad durch ein solches Gitter, der durch eine Folge n von Koordinatenpaaren 

Pi). (<J 2 . P2>> »- ( a k- Pk) 

45 

mit 

<?! = Pi =0; 

50 (<*i+i. Pi + i) e K<J». Pi + 1), + p w )(Oj + 1, Pi + 1)}; 

Oj < n, pj < m . 

[0031] Ein Pfadsegment (a^, pj.-j) -» (a t , pi), bei dem sowohl die o-Koordinate als auch die p-Koordinate inkremen- 
55 tiert worden sind, impliziert, dass ein Buchstabe s^ gesprochen und ein Buchstabe r pj erkannt wurde. 1st bei einem 
Pfadsegment jedoch die o-Koordinate konstant, dann wurde zwar ein Buchstabe r pj erkannt, aber kein Buchstabe 
gesprochen, was dem fehierhaften Einfugen eines Buchstaben durch den Buchstaben-Spracherkenner entspricht. 1st 
die p-Koordinate konstant, wurde zwar ein Buchstabe s^ gesprochen, jedoch kein vom Spracherkenner kein korre- 
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spondierender Buchstabe erkannt (Lbschfehler). 

[0032] Rg. 2 zeigt beispielhaft einen Ausschnitt aus einer derartigen Gitterstruktur mit einem eingezeichneten Pfad 
7L Es wurden drei Buchstaben s 1f s 2 und S3 gesprochen und zwei Buchstaben ^ und r 2 erkannt. Der Buchstabe ^ 
wurde als Buchstabe erkannt. Der Buchstabe s 2 wurde nicht erkannt (d.h. geloscht). Der Buchstabe s 3 wurde 
schlieBlich ats Buchstabe r 2 erkannt. 

[0033] Allgemein ergibt sich die Wahrscheinlichkeit P R fur eine gesprochene Buchstabenfolge s, eine erkannte 
Buchstabenfolge r und einen Gitterpfad n gemSB 
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Pr(£I5)= s n 



PrC^Is^) &Us p, und a t *a 

P R (els 0 ) fells pi =pj. t und a x *o. 
P^.e) 611s p. *p.^ and C 4 =a.. 



i-t 
1 



[0034] Dabei wird in der dritten Zeile fur den Fall, dass zwar ein Buchstabe erkannt wurde, aber kein entsprechen- 
der gesprochener Buchstabe vorliegt, eine Verbundwahrscheinlichkeit anstelle einer bedingten Wahrscheinlichkeit (wie 
20 in den beiden oberen Zeilen) fur P R angesetzt. 

[0035] Zusammenfassend stellt sich das der Buchstaben-Spracherkennung zugrundeliegende Problem somit so 
dar, dass diejenige gesprochene Buchstabenfolge s e V zu ermitteln ist, die bei einer gegebenen erkannten Buchsta- 
benfolge r die Funktion f(s) mit 

& f(s) = P R (rls)P s (s) 

maximiert. 

[0036] Eine Verbesserung der Buchstaben-Spracherkennung ergibt sich bei der Verwendung eines Buchstaben- 
Spracherkenners, der nicht nur einzelne Buchstaben als Hypothesen fur jeweils einen gesprochenen Buchstaben aus- 
30 gibt, sondern eine Liste N bester Buchstaben hypothesen (N > 1), die jeweils mit einem Wahrscheinlichkeitswert 
gewichtet sind. Diese erweiterte Ergebnisinformation kann vollig analog zu den obigen Ausfuhrungen verarbeitet wer- 
den (also Verarbeitung ebenfalls ausgehend von einer Matrix und einer Gitterstruktur), was zu einer verbesserten 
Erkennungsfehlerrate fuhrt. 

[0037] lm folgenden soli die Nachverarbeitung beschreiben werden, durch die das oben genannte Problem der 
35 Maximierung von f(s) gelost wird. 

[0038] lm folgenden sei Z ein vorgegebenes Alphabet, V c Z* ein begrenztes Vokabular mit r* als Menge moglicher 
Buchstabenketten, so dass im Falle einer gesprochenen Buchstabenfolge s e V auch jedes Prafix der Buchstabenfolge 
s Element von V ist. P R , P s und f(s) sollen wie oben definiert sein. Weiterhin sei reZ* eine beliebige, aberfeste Folge 
erkannter Buchstaben. 

40 [0039] Eine (direkte) M6glichkeit zur Bestimmung der Folge s_ mit der grdBten Wahrscheinlichkeit ist die Berech- 
nung aller Werte f(s) f Or alle s e V, wobei die gesuchte Folge s diejenige ist, bei der f(s) maximal ist. Zur Bewertung von 
f(s) bietet sich eine leicht modifizierte Version der Methode der Dynamischen Programmierung (DP-Algorithmus) an. 
[0040] Bei der Methode der dynamischen Programmierung wird zunachst ein Gitter mit (n+1) x (m+1) Punkten 
angesetzt, wobei im vorliegenden Ausfuhrungsbeispiel n die Anzahl gesprochener Buchstaben und m die Anzahl 

45 erkannter Buchstaben ist. Die Zeilen des Gitters sind durch gesprochene Buchstaben und die Spalten des Gitters sind 
durch erkannte Buchstaben gekennzeichnet. Wie schon beim Gitter gemaB Fig. 2 sind die erste Zeile und die erste 

Spalte des Gitter nicht gekennzeichnet. Jedem durch ein Koordinatenpaar (i, j) mit i = 0, .... n und j = 0 m gekenn- 

zeichneten Gitterpunkt ist eine Wahrscheinlichkeit py zugeordnet, die die Wahrscheinlichkeit dafur angibt, dass die 
Buchstabenfolge s 1f Sj eine Folge gesprochener Buchstaben (hier insbesondere ein Prefix eines eingegebenen 

50 Wortes, d.h. eine Folge aus mindestens einem Buchstaben, mit der das Wort beginnt) und dass r 1f rj eine entspre- 
chende zugehdrige Folge erkannter Buchstaben ist. Der DP-Algorithmus ist eine Methode, urn die Wahrscheinlichkei- 
ten pjj spaltenweise zu berechnen. Dabei wird die 0-te Spalte in jeder Zeile mit einer 1 initialisiert. Die Spalte i+1 wird 
fur i = 0, n-1 aus der Spalte i bestimmt gem£G 

55 Pi+1.0 = P«,o p r(c 1 s ki) P S< S i+1 ,S v ■». s i) und 

Pi +1j+1 =P i+1J P n (r j+V e) + P M PrI^i ls k1 ) P s (s k1 ls 1t .... s ,) + p |J+1 P R (e I s j+1 ) P s (s j+1 ls v ..., S| ) 
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fQr j = 0, .... m-1. 

[0041] Hieraus ergibt sich durch Vergleich mit der oben angegebenen (und eine Produkt- und Summenbildung ent- 
haltenden) Formel fur P R (r I s) die gesuchte Funktion f(s) gemaB 

f (s) = P n , m P s ($ls). 

[0042] Beginnen zwei Buchstabenfolgen s 1 und §2 mit der gleichen Buchstabenfolge s der Lange n, sind die ersten 
n Spaften des dem DP-Algorithmus zugrundegelegten Gitters identisch. Urn dementsprechende redundante Berech- 
nungen zu vermeiden, wird die folgende Modifikation vorgeschlagen: Die Spalten des DP-Gitters (eines dem DP-Algo- 
rithmus zugrundeliegenden Gitters) werden als Knoten eines Baumes definiert Jeder Baumpfad entspricht nun einem 
DP-Gitter und Baumpfade mit einem identischen Anfangssegment entsprechen zwei DP-Gittern fur die Buchstabenfol- 
gen s n und Sg mit gleicher Anfangsbuchstabenfolge (anders ausgedruckt: gleichem Prafix). Fig. 3 verdeutlicht diesen 
Ansatz und zeigt die dem Beispiel gemaB Fig. 1 entsprechende Baumstruktur. Im dargestellten Beispiel wurden zwei 
Buchstaben erkannt, so dass jedem Baumknoten drei DP-Gitterknoten (entsprechend einer DP-Gitterspalte) zugeord- 
net sind. 

[0043] Im folgenden wird nun ein Ansatz beschrieben, der zeigt, dass nicht alie Knoten einer solchen Baumstruktur 
bewertet werden mussen, urn das Maximum der Funktion f(s) zu erhalten, und zwar unter Zuhilfenahme des sogenann- 
ten A*-Algorithmus. 

[0044] Die Baumknoten werden nachstehend mit t <1) , t (2) , ... bezeichnet. Der j-te Eintrag (j = 0, m) in der Gitter- 
spalte, die dem Knoten t< k) zugeordnet ist, sei tj (k \ Weitemin sei 

t$ (k) =t m (k) P s ($ls), 

wobei die Buchstabenfolge s die auf dem Pfad zum Knoten t< k> liegende Buchstabenfolge ist. Nun kann das Problem, 
die Folge gesprochener Buchstaben mit der groBten Wahrscheinlichkeit zu finden, in einer abgewandelten Form formu- 
liert werden, und zwar als Suche nach dem Baumknoten t (k) , fur den der Wert t $ < k > maximal ist. 
[0045] Nach der Bewertung eines Baumknotens t (k) wird ein oberer Grenzwert t (k) geschatzt durch 



t w ^ aifx {t $ in I t l} ist Nachfolgcknotcn von t w J 



[0046] Nach der Bewertung zweier Baumknoten t< k) und t (k '^ und bei Vorliegen der Bedingung 

t < k) <t $ (k<) 

weiB man bereits, dass kein Nachfolgebaum knoten des Baumknotens t (k) ein optimaler Baumknoten sein kein kann. 

Eine Bewertung solcher Nachfolgebaumknoten erubrigt sich som'rt und wird nicht durchgefuhrt. 

[0047] Zur Berechnung des Grenzwert t (k) wird der der sogenannte A*-Algorithmus angewendet. 

[0048] Die hier wesentlichen Iterationsschritte des an sich bekannten A*-Algorithmus (siehe beispielsweise E.G. 

Schukat-Talamazzini, "Automatische Spracherkennung", Vieweg-Verlag, 1995, Kapitel 8.2.1) sind: 

(1) Initialisierung: 

Bewertung des Baumwurzelknotens. 

(2) Iteration: 

E sei ein Satz schon bewerteter Knoten. 
Es gelte: p = max { t $ 1 1 e E } . 
Es gelte: p = max { 1 1 1 e E ] . 

(3) Uberprufung, ob das Beendigungskriterium erfOJIt ist: 



Fur p £ p : Ende des Algorithmus (keine weiteren Iterationsschritte notwendig). 
Der optimale Baumknoten ist der Knoten t e E, fur den t $ maximal ist. 
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(4) Expansions des Baums: 
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Es wird ein bisher nicht expandierter Baumknoten t e E ausgewShlt und expandiert, was eine Bewertung aller 
seiner Tochterknoten beinhaltet. Danach wird nun der Algorithmus mit Schritt (2) fortgesetzt. 

[0049] Zu beachten ist, dass in Schritt (4) grunds&tzlich Freiheit in der Auswahl eines Knotens t e E besteht. Um 
eine groGtmdgliche Effizienz des Algorithmus zu gew&hrleisten, ist es allerdings anzustreben, an dieser Stelle den 
Baumknoten zu wahlen, der die groBte Wahrscheinlichkeit besitzt, Teil des Pfades zum optimalen Baumknoten zu sein. 
Demgem§3 wird hier derjenige Baumknoten t e E gewahit, fur den das Maximum 

max 

i 



75 {tj} maximal ist, d.h. es wird der Baumknoten t € E gewahit, der den meistwahrschein lichen bereits bewerteten Gitter- 
punkt aufweist. 

[0050] Nun soil naher darauf eingegangen werden, wie der Wert fur t (k) zu ermitteln ist. Grunds£tzlich bestehen 
viele Moglichkeiten, diesen Wert zu bestimmen. Als eine vorteilhafte Moglichkeit der Bestimmung von t < k) - bei der der 
Rechenaufwand gering gehalten wird und uberflussige Iterationsschritte vermieden werden - wird folgendes vorge- 
20 schlagen: 

[0051] Essei 



25 



j=axgmax{tj } 



30 und 

Cj = max{P R (rj I s) I s e £} 
f Or j = j + 1 m . Der gesuchte Wert von t (k) ergibt sich dann zu 



35 



40 



45 



r t <« 



- Ad 

t = max • 



t w c c 

1 m-2 c » c a»-l» 



so [0052] Die Berechnung dieses Ausdrucks fur t (k) ist mit wenig zusatzlichem Rechenaufwand verbunden, denn die 
Produkte c m , c m c m . 1f ... konnen vorab be rech net werden und der Minimum-Index j wird ohnehin in Schritt (4) des A*- 
Algorithmus bestimmt. 

[0053] Eine weitere Ausfuh rungs variante ergibt sich, wenn der A*-Algorithmus beim erstmaligen Erfullen der 
Bedingung im Schritt (3) nicht gestoppt, sondern weitere Algorithmus-Schleifen durchlaufen und weitere suboptimale 
55 Baumpfade ermittelt werden. Dann wird entsprechend N-1 weiteren durchlaufenen Schleifen statt einer einzigen Hypo- 
these fur die Folge gesprochener Buchstaben eine Liste N bester Hypothesen ausgegeben, und zwar diejenigen, die 
am wahrscheinlichsten die Folge der gesprochenen Buchstaben wide rgeben. 

[0054] Der oben beschriebene Algorithmus garantiert das Finden des optimalen Baumknotens und damit der opti- 
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malen Schatzung der eingegebenen Buchstabenfolge s ; er ist allerdings rechenzeltintensiv und benotigt viel Speicher- 
platz. Im folgenden soil erlautert werden, wie die Rechenzeit und der Speicherplatzbedarf verringert werden konnen. 
Bei dem entsprechend modifizierten A*-Algorithmus werden lediglich die offenen Baumknoten gespeichert, d.h. die 
Baumknoten, die schon bewertet, aber noch nicht expandiert wurden. Nach der Expansion eines Baumknotens wird 

5 dieser im Speicher geloscht. Die maximale Anzahl zu speichernder offener Baumknoten wird a priori vorgegeben. Liegt 
die Anzahl offener Baumknoten uber dieser vorgegebenen maximalen Anzahl, ist demgemaB zu ermitteln, welche die- 
ser offenen Baumknoten bei der nachfolgenden Berechnung auBer Betracht bleiben konnen (sogenanntes "pruning"), 
wobei diese Knoten nicht zum optimalen Baumpfad gehoren diirfen, da ansonsten der A*-Algorithmus ein falsches 
Ergebnis liefern wurde. Es stellt sich also hier das Problem, diejenigen Baumknoten zu finden, die mit der gr6Bten 

10 Wahrscheinlichkeit nicht Teil des optimalen Baumpfades sind. Zur Losung dieses Problems wird ein einfacher heuristi- 
scher Ansatz gewahlt Dabei werden diejenigen offenen Baumknoten vorrangig ais auBer Betracht zu bleibende Baum- 
knoten gewahlt, die am nachsten zur Baumwurzel liegen. Dies bedeutet, dass Suchpfade, die schon zu Beginn eine 
kleine Wahrscheinlichkeit aufweisen, diejenigen Baumpfade sind, die vorrangig als nicht mehr weiterzuverfolgende 
Pfade eingestuft werden. 

15 [0055] Die beschriebene "pruning^Stragegie kann effizient insbesondere dadurch implementiert werden, dass die 
offenen Knoten nicht in einer gemeinsamen Halde ("heap") gespeichert werden, sondern fur jede Pfadlange einer 
Halde vorgesehen ist und die offenen Knoten in der jeweils zugehorigen Halde gespeichert werden. Im Fall einer Ober- 
schreitung der zulassigen Anzahl offener Knoten (s.o.) wird bei dieser Form der Implementierung diejenige Halde, die 
den kurzesten Baumpfad reprasentiert, geloscht. Die hierfOr erforderliche Zeitspanne ist nahezu konstant. 

20 [0056] Fig. 4 zeigt ein Blockschaltbild eines Spracherkennungssystems 1 zur Erkennung eingegebener buchsta- 
bierter sprachlicher AuBerungen s, dass gemaB den obigen Ausfuhrungen zur erfindungsgemaBen Buchstaben- 
Spracherkennung arbeitet. Ein Block 2 kennzeichnet eine Spracherkennungseinheit, die basierend auf akustischen 
Modellen - wie tiblich werden HMM (Hidden Markov Modelle) verwendet - ein Erkennungsergebnis r (Folge von Buch- 
staben) liefert, wobei eine Buchstabengrammatik, die Wahrscheinlichkeiten fur das Auftreten verschiedener moglicher 

25 Buchstabenkombinationen angibt, durch die Spracherkennungseinheit 2 nicht verwendet wird. Das Erkennungsergeb- 
nis r wird einer Nachverarbertungseinheit 3 zugef uhrt, die basierend auf durch einen Block 4 dargestellten statistischen 
Modellen fur Buchstabenfolgen P s (s) und auf mit einen Block 5 dargestellten statistischen Modellen P R (r I s) fur den 
Spracherkenner wie oben beschrieben die entsprechende Funktion f(s_) maximiert (Block 6) und hieraus ein auszuge- 
bendes Erkennungsergebnis R s able'rtet. Das Erkennungsergebnis Rs ist entweder eine Schatzung der eingegebenen 

30 Buchstabenfolge s Oder eine Liste N bester Schatzungen der eingegebenen Buchstabenfolge s mit den groBten Wahr- 
scheinlichkeiten, die richtige Schatzung zu sein. 

[0057] Das in Fig. 5 dargestellte Blockschaltbild zeigt ein System mit Sprachsteuerung - hier vorzugsweise ein 
Navigationssystem fur Landkraftfahrzeuge -, das sowohl einen Buchstabenspracherkenner 1 gemaB Fig. 4 als auch 
einen Wort-Spracherkenner 7 zur Erkennung eingegebner Worte w aufweist. Zur Anwendung der Erfindung kommen 

35 aber prinziell alle sprachgesteuerten Systeme mit Funktionseinheiten zur Erkennung buchstabierter SprachauBerun- 
gen in Betracht. Das vom Buchstaben-Spracherkenner 1 geiieferte Erkennungsergebnis R s wird zur Einschrankung 
des Vokabulars des Wort-Spracherkenners 7, d.h. zur Begrenzung der als Wort-Erkennungsergebnis R w in Frage kom- 
menden Worte, verwendet, was zu einer robusteren Wort-Spracherkennung fQhrt. Bei einer bestimmten Anfangsbuch- 
stabenfolge Oder N bester A nfangs buchstabenfolgen als Erkennungsergebnis R s wird das Vokabular des Wort- 

40 Spracherkenners 7 auf die Worte mit diese n Anfangsbuchstabenfolgen eingeschrankt. Das Erkennungsergebnis R w 
wird zur Systemsteuerung verwendet, wobei die gesteuerten Systemfunktionseinheiten durch einen Block 8 
zusammengefasst sind. Bei Navigationssystemen stellt das Erkennungsergebnis beispielsweise einen Ortsnamen dar, 
dessen Eingabe das Navigationssystem zur Ermittlung einer dorthin fuhrenden Fahrstrecke veranlasst. 
[0058] Vorliegend werden der Spracherkennungsblock 2 und die Nachverarbertungseinheit 3 mittels unterschiedli- 

45 cher Hardware-Komponenten umgesetzt - der Spracherkennungsblock mittel eines fur Spracherkennungsaufgaben 
angepassten digitalen Signalprozessors und die Nachverarbeitungseinheit 3 mittels eines auch zur Realisierung ande- 
rer durch Block 8 zusammengefasster Systemfunktionen dienenden Controllers. Dies hat den Vorteil, dass der Signal- 
prozessor eine geringere Rechenkapazitat und eine geringere Speicherkapaz'rtat aufweisen kann, da zur Erkennung 
eingegebener buchstabierter SprachauBerungen sonst fur Navigationsprozeduren vorgesehene System res ourcen mit- 

50 benutzt werden. 

Patentanspruche 

1. Verfahren zur Erkennung einer in buchstabierter Form vorliegenden SprachauBerungseingabe (s) mit einer ersten 
55 Verarbeitungsstufe, in der mittels einer auf Hidden Markov Modellen basierenden Buchstaben-Spracherkennungs- 
einheit (2) eine korrespondierende Buchstabenfolge (r) geschatzt wird, und mit einer zweiten Verarbeitungsstufe 
(3), in der unter Verwendung eines statistischen Buchstabenfolgemodells (4) und eines statistischen Modells (5) fur 
die Spracherkennungseinheit (2) das von der ersten Verarbeitungsstufe geiieferte Schatzergebnis (r) nachverar- 
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beltet wird, wobei bei der Nachverarbeitung die Methode der dynamischen Programmierung eingesetzt wird, 
dadurch g ekennzeichnet. 

dass die der dynamischen Programmierung zugrundeliegende Gitterstruktur, deren Knotenpunkte zur Zuord- 
nung zu akkumulierten Wahrscheinlichkeitswerten vorgesehen sind, in eine Baumstruktur umgesetzt wird und 
dass bei der Suche nach einem optimalen Baumpfad der A*-Algorithmus eingesetzt wird. 

Verfahren nach Anspruch 1 , 
dadurch gekennzeichnet 

dass suboptimale Baumpfade entsprechend N bester Schatzungen fur die SprachauBerungseingabe mit N>1 
ermittelt werden. 

Verfahren nach Anspruch 1 oder 2, 
dadurch gekennzeichnet. 

dass bei der Suche nach einem optimalen Baumpfad diejenigen Baumpfade, die schon zu Beginn der Suche 
eine gegenuber anderen Baumpfaden eine kleine Wahrscheinlichkeit aufweisen, vorrangig nicht mehr weiter- 
verfolgt werden. 

Verfahren nach einem der Anspriiche 1 bis 3, 
dadurch gekennzeiQhnet, 

dass die erste Verarbeitungsstufe mittels eines ersten ICs und die zweite Verarbeitungsstufe mittels eines 
zweiten ICs durchgefuhrt wird. 

Verfahren zur System steue rung mittels Sprachsignalen (w, s), bei dem 

eine Eingabe eines als Steuersignal dienenden ganzen Wortes (w) und eine Eingabe wenigstens eines Teils 
dieses Wortes in buchstabierter Form (s) vorgesehen ist, 

eine Wort-Spracherkennung (7) zur Erkennung des eingegebenen ganzen Wortes (w) vorgesehen ist, 

eine Buchstaben-Spracherkennung (1 ), insbesondere nach einem der Anspriiche 1 bis 4 . zur Erkennung des 

eingegebenen buchstabierten Teils (s) des ganzen Wortes (w) vorgesehen ist und 

bei dem mit Hilfe des Erkennungsergebnisses (§) der Buchstaben-Spracherkennung (1) eine Einschrankung 
eines der Wort-Spracherkennung (7) zugeordneten Vokabulars durchgefuhrt wird. 

Sprachgesteuertes elektrisches Gerat, insbesondere Navigationssystem.fur Landkraftfahrzeuge, mit Komponen- 
ten (1 , 7, 8) zur Durchfuhrung eines Verfahrens nach einem der Anspriiche 1 bis 5. 
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FIG. 3 
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FIG. 4 
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(54) Erkennung einer in buchstabierter Form vorliegenden Sprachausserungseingabe 

(57) Die Erfindung betrifft ein Verfahren zur Erken- 
nung einer in buchstabierter Form vorliegenden Sprach- 
auBerungseingabe (s) mit einer ersten Verarbeitungs- 
stufe, in der mittels einer auf Hidden Markov Modellen 
basierenden Buchstaben-Spracherkennungseinheit (2) 
eine korrespondierende Buchstabenfolge (r) geschatzt 1 
wird, und mit einer zweiten Verarbeitungsstufe (3), in der 
unter Verwendung eines statistischen Buchstabenfol- 
gemodells (4) und eines statistischen Modells (5) fur die 
Spracherkennungseinheit (2) das von der ersten Verar- 
beitungsstufe geiieferte Schatzergebnis (r) nachverar- t 
beitet wird, wobei bei der Nachverarbeitung die Metho- 
de der dynamische Programmierung eingesetzt wird. 

Um robuste und effiziente Spracherkennungspro- 
zeduren fur die Anwendung von Sprachsignalen zur Sy- 
stemsteuerung, wird vorgeschlagen, dass die der dyna- 
mischen Programmierung zugrundeliegende Gltter- 
struktur, deren Knotenpunkte zur Zuordnung zu akku- 
mulierten Wahrscheinlichkeitswerten vorgesehen sind, 
in eine Baumstruktur umgesetzt wird und dass bei der 
Suche nach einem optimalen Baumpfad der AVAIgo- 
rithmus eingesetzt wird. 
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